Concept Sliders

https://gyazo.com/52381cd6de4a80ac5ffb092e2ba9ebe3

https://sliders.baulab.info/Project

https://github.com/rohitgandikota/slidersrohitgandikota/sliders

https://arxiv.org/abs/2311.12092Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models

https://huggingface.co/spaces/baulab/ConceptSlidersDemo

LECOを使ったスライダーLoRAと同じように見えるnomadoor.icon

LECOは長い髪っていう概念を覚えさせれば、その逆は短い髪になるよね？って感じだったけど、Conept Sliderは始点と終点の概念を両方とも指定する

テキストだけじゃなく画像のペアや、GANのコンセプトの移植？などができる

歪んだ画像と歪んでいない画像のペアで学習させることで、生成画像の品質を上げることが出来るRepair SliderやFixing Handを作れる

https://sliders.baulab.info/weights/xl_sliders/サンプルモデル

LoRAとして読み込めばとりあえず使えるけれど、想定された動きでは無い気がするnomadoor.icon

https://github.com/comfyanonymous/ComfyUI/issues/2028#issuecomment-1824616551

Concept Slidersの作者、Rohitです。より正確なコントロールのために、私たちが使っているinference time SDEdit techniqueを使うことも強くお勧めします。基本的に、推論中、最初の"t"タイムステップでは事前に学習したモデルを使い、それからスライダーを使い始めます。これにより、よりスムーズなコントロールが可能になります。

https://gyazo.com/86253965cb559de786367cc5ef3979ce

Concept_Sliders_R.json

最初の4stepはLoRAなしで生成、その後LoRAを追加して続きを行う

Stable Diffuison web UIではLoRa Control - Dynamic Weights Controllerでもっとスマートにできる

だれかこれのComfyUIカスタムノード作ってくださいお願いしますなんでも()nomadoor.icon

あった → ComfyUI prompt control

MMOのキャラクリ画面みたいなUIが必要だnomadoor.icon

Rohit Gandikota(@RohitGandikota)

Diffusion models can sometimes generate images with distorted hands, misplaced fingers. Our "Fix Hands" slider can help SDXL draw consistent hands. In a human study conducted, users rated that our slider has ~65% fewer distorted hands compared to pre-trained SDXL

https://pbs.twimg.com/media/F_j_NrAbcAAjf1V.jpg